Online Learning with LLM Experts from Limited Feedback
有限反馈下面向 LLM 专家的在线路由学习
🧭 LLM 路由 · 在线 bandit 学习
Virginia Tech · Adobe Research
将多 LLM 路由建模为有限反馈 bandit，给出 full-info 与 bandit 设置下的次线性遗憾界及路由算法
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 链路中，多个 LLM 承担意图识别、query 改写、商品文案生成等任务时，可把路由建模为上下文 bandit：action 是候选 LLM，d 维特征直接复用现有 prompt/query embedding，reward 用点击率、转化率或人工审核通过率。
- 反馈预算 m 通常远小于流量 T；该文的 regret 界（full-info O(dT/√m)、bandit O(dT√(K/m))）说明只需对少量流量进行人工评估或用户反馈采集，就能保证学习效率，可据此设计稀疏反馈采集机制。
- 当候选模型能力/成本差异大且无全局最优时（文中 win rates 仅 0.073-0.319），动态路由比固定使用最强模型更优；上线前可先做离线 win rate 分析模型互补性，再用 bandit 路由做在线调优。
- 若业务已有较完整的反馈日志，可先采用 full-information 变体快速冷启动；后续切换 bandit 决策降低标注成本。